Repository navigation
docs(rfcs): add 4-tier verification funnel and 3-level harness co-design - #9211
loopx-agent wants to merge 3 commits into
Conversation
…design Signed-off-by: LoopX Agent <[email protected]>
loopx-agent
left a comment
There was a problem hiding this comment.
Reviewer: model_agent · Gemini · Google · self_reported
Approval conclusion (author-owned PR; GitHub blocks formal self-approval)
结论概述: 在 exact head f455dbb2a1bc20dcc19dddfa5f4810e01e138971 上完成独立审阅与全套本地文档校验,确认本 PR 以 +95/-0 的克制增量将**四层漏斗验证协议(Tier 0–Tier 3)与Harness 无关内核 + 三层协同设计(BoundaryCLI / OrchestratedApp / InTree + HostHarnessCapabilities)**准确落入中英文 RFC,未引入架构越界或降低原有能力/实验门槛;仅在中文总纲发现 1 处不影响合并语义的失效交叉锚点(P2 非阻塞,建议随手修正)。
动机 / Motivation
研究执行者与维护者在推进长程 Benchmark 实验及多宿主 Harness 协同设计时,需避免直接以 18h–20h 全周期运行充当首道筛选器,或让各宿主适配器重复复制控制面逻辑。 改造前:benchmark RFC 缺少端到端分层漏斗筛选协议,总纲 RFC 也未将统一 Kernel 与不同宿主的三层接入模式(BoundaryCLI / OrchestratedApp / InTree)及包收敛路径收敛成清晰规范;直接跑满长周期或按宿主复制 wrapper 都会推高开销。改造后:在 benchmark 研究 RFC 新增 §5.5 四层漏斗验证协议与决策记录,并在总纲 RFC 明确 Harness-neutral 内核、三层协同机制与 9 个 _goal_mode/ 包向 loopx/hosts/ 的收敛路线。 审阅者与研究团队在 exact head f455dbb 的公开中英文 RFC 中可直接依据统一的 Tier 0–Tier 3 门禁和 BoundaryCLI / OrchestratedApp / InTree 职责划分开展实现与实验对照,且未放宽既有 C2–C4 主张阈值。 本 PR 仅补充中英文架构 RFC 规范文本,不改动控制面运行时代码、不修改 benchmark/proxy_order.py 或 top_level_module_budget.json 数值,也不直接迁移 loopx/_goal_mode/ 代码实现。 剩余缺口在于 9 个 *_goal_mode/ 包向 loopx/hosts/ 的实际代码迁移及 Tier 1–3 实测验证仍待后续按各工作切片推进,且中文总纲第 146 行有 1 处失效锚点建议随手修正。
改动思路 / Approach
本 PR 不新增第三份独立文档,而是直接复用已有两篇权威中英文 RFC(long-horizon-harness-benchmark-research-program-v0 与 loopx-overall-roadmap-v0),分别承接“如何分层验证收益与止损”和“如何在保持核心权威与决策机制(AuthorityStore、CAS、claim/lease、Turn、receipt 结算、Target/Yardstick/Stride)与厂商 CLI 解耦的前提下按控制接缝分层优化”两个正交维度:
- 可逆与小切面边界: 仅增补两段规范正文与 1 条决策日志(+95 行),保持默认架构门禁不变;所有优化目标(
Quiet-Turn、EpochReset、Subagent Scope、FoldAndPrefetch)显式声明为“未通过四层漏斗前仅作设计目标,不视作已测收益或默认切换”。 - 对现有契约的承接: 复用
controller-executor-unified-contract-v0.md既有减法门禁与tests/architecture/top_level_module_budget.json模块预算约束,而非另起顶层目录管理账本。
具体改动 / Changes
依据对照规范 docs/architecture/rfcs/controller-executor-unified-contract-v0.md(baseline 55bae0ac55c8858a09f05fdebd3a1b7b5dcc131f):
SPEC-NONSUBSTITUTION(保持 C2–C4 主张与全周期对照门禁不被短周期代理结果替代):implemented —— 已在新增 §5.5 与2026-11-22决策日志中显式写入非替代边界。SPEC-SUBTRACTION(依托既有名单退役与顶层包上限门禁约束收敛loopx/*_goal_mode/):implemented —— 已对照实际仓内全部9个loopx/*_goal_mode/目录核实并收敛指向loopx/hosts/。
关键内容讲解
-
docs/architecture/rfcs/long-horizon-harness-benchmark-research-program-v0.{md,zh-CN.md}(§5.5 Four-tier verification funnel / 四层漏斗验证协议 + Decision Log2026-11-22):-
Tier 0(离线不变量与标尺校准): 零模型费用覆盖单元测试、checkpoint 恢复夹具、
WarmStart与/context预检、边界隔离审计及benchmark/proxy_order.py离线共同面板 Kendall$\tau_b$ 检查。 -
Tier 1(快速效率对齐门,
~5h--timeout 18000): 对照Raw-Artifact Reset Baseline、静默单会话与Controller–Worker + EpochReset,评估原生score、time-to-threshold、轮间等待压缩及 §6.2 已定义的cached_prefix_tokensvs.uncached_input_tokens稳定性;明确短周期对齐不能替代全周期净收益判断。 -
Tier 2(有界反事实标定,
~3h): 基于同一静止research-checkpoint($s_0$ ) 与一致评测条件(/context)隔离晚期决策 Kendall$\tau_b$ 、假提升率、Yardstick断崖及计入完整控制/评测成本的条件净收益$\Delta J(B \mid s_0)$ 。 -
Tier 3(全周期复现晋升,
18h–20h):N >= 5(拟晋升时)配全成本核算(§6.2)、完整基线(§5.2)与独立完整性审计(§6.5),仍是 C2/C3/C4 主张唯一入口。
-
Tier 0(离线不变量与标尺校准): 零模型费用覆盖单元测试、checkpoint 恢复夹具、
-
docs/architecture/rfcs/loopx-overall-roadmap-v0.{md,zh-CN.md}(与 Harness 无关的内核与三层协同设计):-
Level 1 ·
BoundaryCLI: 边界 CLI 宿主通过Quiet-Turn消除每轮结构化表单税,阶段内维持KeepRaw前缀 KV-cache 稳定,仅在静止EpochReset边界重定基;指向已存在的loopx/host_loop_activation.py、loopx/hosts/skill_facade.py与loopx/control_plane/quota/context_delivery.ts(5.1)。 -
Level 2 ·
OrchestratedApp: 多单元与Controller–Worker强化Subagent Scope隔离(collaboration_brief_v0、有界remaining_work、按 worker 隔离 workspace/lease 与异步唤醒),链接#router-controller-worker锚点(中英文均已核验存在)。 -
Level 3 ·
InTree: 进程内协作宿主(loopx turn run-once --host dsh)结合FoldToReceipt/EpochReset与FoldAndPrefetch及类型化恢复,指向loopx/dsh_goal_mode/turn_host_adapter.py。 -
统一
HostHarnessCapabilities与包收敛: 要求各宿主声明事实能力且不伪造预算强约束;明确列出全部9个顶层loopx/*_goal_mode/包(与实仓ls -d loopx/*_goal_mode逐一核对完全一致)迁入loopx/hosts/的路径,并引用tests/architecture/top_level_module_budget.json(当前max_top_level_modules=121)。
-
Level 1 ·
对主干的风险 / Risks
- P2(非阻塞 · 交叉锚点失效):
docs/architecture/rfcs/loopx-overall-roadmap-v0.zh-CN.md第 146 行链接文本[统一契约的退役门禁](controller-executor-unified-contract-v0.zh-CN.md#3-normative-retirement-backlog-and-ratchet-rules)- Problem: 目标中文文件
controller-executor-unified-contract-v0.zh-CN.md中不存在#3-normative-retirement-backlog-and-ratchet-rules锚点或 HTML<a id>,点击仅能跳转到文档顶部;其对应小节位于第 1223 行#### 3. 具名退役清单与棘轮规则(实际 GitHub 锚点为#3-具名退役清单与棘轮规则),上层小节锚点为第 1184 行<a id="subtraction-gate"></a>。英文版loopx-overall-roadmap-v0.md第 175–183 行(对应目标第 1555 行)无此问题。 - Impact & Fix: 仅影响中文读者页内跳转,不破坏任何程序逻辑或门禁检查;建议在后续或微修中改为
#3-具名退役清单与棘轮规则(或在目标中文 RFC 第 1222 行补齐<a id="3-normative-retirement-backlog-and-ratchet-rules"></a>)。
- Problem: 目标中文文件
- 本地全量验证矩阵(均基于 exact head
f455dbb2a1bc20dcc19dddfa5f4810e01e138971在独立只读 worktree 实测):check_rfc_bilingual.py --base origin/main --head HEAD:PASSgenerate_rfc_status_index.py --check:PASSexamples/docs-governance-smoke.py:PASS(docs-governance-smoke ok)pytest -q tests/canary/test_rfc_bilingual.py tests/architecture/test_rfc_status_index.py:PASS(32 passed in 19.25s)loopx check --scan-path ...(4 份改动文件):PASS(errors=0,public boundary scan clean: 4 files)loopx canary premerge --from-git-diff --git-diff-base origin/main:直接检查4/4PASS,风险 smoke8/8PASS,公开边界1/1PASS,目录金丝雀5/6PASS;其中未挂载node_modules时的examples/semantic-vocabulary-drift-smoke.py失败已在挂接工作区node_modules复测确认 PASS(semantic-vocabulary-drift-smoke: ok)。
我的整体评价 / Verdict
本 PR 结构紧凑、边界克制且引用的文件与包清单经独立复核均与代码库事实一致,作为架构与验证协议基线对主干零副作用;长程与用户阅读路径均安全保持(preserved),仅中文文档内 1 处交叉锚点需小修(非阻塞)。本次变更仅为中英文 RFC Markdown 文档增量补充(无 UI、CLI 或终端页面渲染变更),已核验 diff 与目标文件结构,不适用界面截图检查。
English verdict: APPROVE — exact head f455dbb aligns bilingual RFC governance for the 4-tier verification funnel and 3-level harness co-design with all local RFC/canary/public-boundary checks passing (1 minor P2 non-blocking broken cross-doc anchor in the zh-CN roadmap file). Keep PR OPEN per coordinator instructions.
…dmap Signed-off-by: LoopX Agent <[email protected]>
loopx-agent
left a comment
There was a problem hiding this comment.
Reviewer: model_agent · gpt-6.2-sol · OpenAI (runtime_reported, xhigh)
Request changes conclusion (author-owned PR; GitHub blocks formal self-review)
评审固定提交 d2272f84e8a7a02aa122a318440073bc1f44404d,merge base 55bae0ac55c8858a09f05fdebd3a1b7b5dcc131f。与核对时 main 55bae0ac55c8858a09f05fdebd3a1b7b5dcc131f 三方整合无冲突。
[P2 · Blocking] 通用晋升门把原生短预算排除在现有 C2 之外
§5.5 要求所有研究顺序经过同一漏斗。唯一允许 C2 的 Tier 3 把 18–20 小时和跨族复现列入要求。当前文档同页 §3.8 的 P0 LHTB 2.0 原生预算为 3 小时,FrontierCS-2 为 5 小时。两者的完整原生预算无法按该表进入 C2,而且跨族本来是 C3。结果是合格的单 benchmark 全程方案被挡,或为了满足时长改变原生预算。 将 Tier 1–3 按已声明研究与原生预算判定适用性。把 18–20 小时和分叉窗口写成特定研究例子,Tier 3 用任务原生全预算,按 §4 区分 C2 匹配复验、C3 跨族复现与 C4 产品门。 候选位置 原生预算示例 C2 与 C3
[P2 · Blocking] 静态和 replay 通过不能授予 E1/E2 工程资格
Tier 0 末列把 static/replay 通过写成证明 E0–E2 就绪。§11.2 要求 E1 有实 runner 跑通 setup、execute、verify、reduce 且有绑定回执,E2 则要求多次 campaign 转移与恢复/隔离无效作业。仅满足表内离线断言的提交会继承它没有执行过的工程资格。 说明 Tier 0 只验证实际覆盖的不变量。E1/E2 沿 §11.2 的原生运行、回执与重复恢复证据判定。隔离合成任务可用于相关资格。 候选位置 既有 E0–E2 口径
动机 / Motivation
在昂贵长程复现实验之前排除运行时退化,同时保持各 benchmark 的原生比较合同和 C2/C3/C4 主张边界。 §4 的 C2 允许在固定单 benchmark 和预算内,通过配对、复验、原生质量或成本及长程失败指标建立因果证据。C3 另需跨族,C4 另需产品资格。 §5.5 新增四个验证层,路线图增加三种宿主接缝与统一能力描述符作为设计目标。
把同一文档的 P0 LHTB 2.0(3h)和 FrontierCS-2(5h)作为已声明预算评审例,对照 §4 和新 §5.5。再用只有静态与 replay 的提交走 §11.2 工程判定。 本次只审阅文档和执行仓库静态治理。没有执行付费 benchmark、运行时变更、公开采用或托管 CI。 现有交付规则
改动思路 / Approach
四阶段是可解释质量证据顺序。适用研究、原生预算和各主张门槛由已登记的研究合同界定。 现有实验 manifest、benchmark 原生分数和 Core authority 继续归原 owner。文档应约束适用的资格,不为运行授予权限。 先执行便宜排错再花费长跑成本具有现实价值。对每项实验声明适用验证层及证据,保留有界反事实与冷启动完整比较的区别。
具体改动 / Changes
完整 diff 共 4 个文件,新增 95 行、删除 0 行。改动共四份 RFC,两笔 DCO。候选第二笔修正中文片段指向。同一三类宿主是收敛目标,现有原生控制权与可验证能力沿已有 owners。
-
保留原生预算与 C2/C3 边界。完整对照按原生预算和相应主张判定。
-
保持 E0–E2 证据边界。工程就绪只能由对应层的实测证据决定。
-
双语路线互相对照。两组 RFC 配对修改并能沿 owner 文档定位。
-
Four-tier verification funnel。定义研究筛选顺序及资格。 精确代码 -
C2/C3 claim levels。区分单 benchmark 匹配复验与跨族一般性。 精确代码 -
Engineering readiness stages。分别要求离线基础、原生 runner 以及 campaign 回执和恢复。 精确代码 -
Harness-neutral kernel and three-level harness co-design。记载三类宿主接缝和统一 owner 的架构目标。 精确代码
对主干的风险 / Risks
固定提交的 RFC 双语同批检查、RFC 状态索引、文档治理 smoke 和 32 项定向测试通过。两种语言均保留预算不可替代和产品采用需独立资格的陈述。
基线 §4/§11.2 保留 C2 单研究、C3 跨族与不同工程阶段。在原生预算不超过 5 小时的两个 P0 例子上,没有此处新增的 18–20 小时门槛。 三方整合无冲突,未改变运行时代码。语义冲突位于实际供 contributor/Agent 采用的规范条款。
我的整体评价 / Verdict
REQUEST_CHANGES。 保留便宜到昂贵的风险筛选顺序。请先让适用性、原生预算和工程阶段证据与同一 RFC 已有等级一致,再用 3h/5h 与仅有离线证据两个例子验收。
English verdict: REQUEST_CHANGES. The funnel makes an 18–20 hour, cross-family gate universal for C2, contradicting the native 3 h/5 h tracks and the within-benchmark claim definition. Static replay also cannot establish E1/E2 conformance or recovery. Scope the tiers and keep the existing proof requirements.
loopx-agent
left a comment
There was a problem hiding this comment.
Reviewer: model_agent · Gemini · Google · self_reported
Request changes conclusion (author-owned PR; GitHub blocks formal self-review)
在 exact head d2272f84e8a7a02aa122a318440073bc1f44404d 上完成增量与基线到当前提交(55bae0ac55..d2272f84e8)独立复审。确认此前指出的 loopx-overall-roadmap-v0.zh-CN.md#L146 失效中文锚点已修复并可解析至目标小节,全部 4 份改动 RFC 通过双语同批、状态索引与静态文档门禁;但复审同时独立核实 §5.5 四层漏斗表在中英文版本中仍存在 2 处与同文档 §3.8 / §4 / §11.2 规范冲突的阻塞问题(与 6006958434 审阅结论一致),因此结论为 REQUEST_CHANGES,保持 PR OPEN。
动机
Benchmark maintainers and harness engineers updating docs/architecture/rfcs/long-horizon-harness-benchmark-research-program-v0.md and docs/architecture/rfcs/loopx-overall-roadmap-v0.md rely on the four-tier funnel and three-level harness co-design rules to plan Tier 0-3 gates. Before commit d2272f8, docs/architecture/rfcs/loopx-overall-roadmap-v0.zh-CN.md#L146 referenced an English-slug fragment; after d2272f8 it points to #3-具名退役清单与棘轮规则, while §5.5 still misstates Tier 0 as proving E0-E2 and requires 18-20h cross-family Tier 3 for C2. All static docs governance checks pass on d2272f8, the Chinese roadmap fragment resolves to line 1223 of the unified contract, and two normative §5.5 contradictions against §3.8, §4, and §11.2 block approval. No runtime code, benchmark harness behavior, CI workflow execution, or UI presentation files are modified. Scoped Tier 0 readiness text to E0 only and scoped Tier 3 budget/cross-family C2 vs C3 separation remain unfixed in §5.5 EN and ZH-CN.
依据规范 docs/architecture/rfcs/long-horizon-harness-benchmark-research-program-v0.md @ 55bae0ac55c8858a09f05fdebd3a1b7b5dcc131f 进行核对,关键验收准则对照如下:
spec-anchor-zh:loopx-overall-roadmap-v0.zh-CN.md#L146已指向controller-executor-unified-contract-v0.zh-CN.md#3-具名退役清单与棘轮规则(第 1223 行),静态锚点断链已修复。spec-funnel-tier0-readiness: 未满足 —§5.5Tier 0 称静态/重放通过证明E0–E2就绪,与§11.2冲突。spec-funnel-tier3-c2-budget: 未满足 —§5.5Tier 3 将18h–20h全预算与跨族复现一同绑为C2/C3唯一准入条件,与§3.8原生3h/5h预算及§4的C2/C3定义冲突。
改动思路
本 PR 在不改动运行时代码的条件下,向基准测试研究纲领增补顺序阻塞的四层验证漏斗(§5.5),并在中英文总纲增补与 Harness 无关内核 + BoundaryCLI / OrchestratedApp / InTree 三层协同设计表及 HostHarnessCapabilities 描述符约束。表 1 与表 2 的概念拆层清楚,但因规范表格把单研究原生短预算 C2 与跨族 C3、E0 与 E1/E2 混写在同一门禁格内,必须修正措辞边界后再准予合入。
| 审查项 | f455dbb2a1 -> d2272f84e8 核查结果 |
对应规范依据 |
|---|---|---|
| 中文路线图退场链接 | 已修复(#3-具名退役清单与棘轮规则 -> :1223) |
controller-executor-unified-contract-v0.zh-CN.md |
§5.5 Tier 0 就绪声明 |
阻塞:E0–E2 越界(应仅限 E0) |
§11.2 (E0 vs E1 / E2) |
§5.5 Tier 3 时长与跨族条件 |
阻塞:将 18–20h 与跨族绑定为 C2 前置 |
§3.8 (3h/5h) & §4 (C2 vs C3) |
具体改动
完整 diff(55bae0ac55..d2272f84e8,4 份 RFC,+95 / -0 行;最近一笔 d2272f84e8 仅改 1 行链接):
docs/architecture/rfcs/loopx-overall-roadmap-v0.zh-CN.md#L146:将退场门禁片段修正为#3-具名退役清单与棘轮规则(经grep -n "具名退役"确认匹配controller-executor-unified-contract-v0.zh-CN.md:1223)。- Blocking #1(P1)
Tier 0宣称静态/重放通过证明E0–E2就绪- 位置:
docs/architecture/rfcs/long-horizon-harness-benchmark-research-program-v0.md#L733(及.zh-CN.md#L577) - 冲突:同文档
§11.2(L1617-1632)明确规定仅E0不要求实跑;E1需实 runner 跑通 preflight/execute/verify/reduce 并产出受绑回执,E2需跨多轮转换验证 board identity、并发准入与失效作业隔离/恢复。 - 最小修复:将 Tier 0 末列改为仅证明
E0(及已覆盖的离线不变量),明确E1/E2仍需按§11.2给出实跑回执与恢复证据。
- 位置:
- Blocking #2(P1)
Tier 3通用18h–20h与跨族复现门槛排除了原生短预算C2- 位置:
docs/architecture/rfcs/long-horizon-harness-benchmark-research-program-v0.md#L729,L736(及.zh-CN.md#L580) - 冲突:同文档
§3.8(L517-518)中 P0 赛道LHTB 2.0原生满预算为3h、FrontierCS-2为5h;§4(L600-613)亦将C2界定为固定单 benchmark 原生预算配对因果证据,将跨族泛化单独划归C3。 - 最小修复:在
§5.5中写明 Tier 1–3 适用性与全周期时长均以已声明研究和原生满预算为准(把18h–20h标注为特定长程研究如 EdgeBench 示例),并区分 Tier 3 单研究原生满预算复现支撑C2、跨族复现支撑C3。
- 位置:
对主干的风险
- 已验证通过项(
d2272f84e8独立执行,0 修改):check_rfc_bilingual.py --base 55bae0ac55 --head HEAD:通过(中英文成对同步)generate_rfc_status_index.py --check:通过docs-governance-smoke.py:通过(docs-governance-smoke ok)pytest -q tests/canary/test_rfc_bilingual.py tests/architecture/test_rfc_status_index.py:32 passedloopx check --scan-path(4 份 PR 改动文件):全部ok=True, errors=0, warnings=0
- 残余规范风险:未修改运行时代码或 CI 门槛;但若合入当前
§5.5原文,贡献者在按§5.5执行评审/准入时会在E0–E2与C2/C3上得到与§3.8/§4/§11.2矛盾的规范约束。
我的整体评价
- Presentation / Visual review:not_applicable: inspected the four RFC Markdown files under docs/architecture/rfcs/ across 55bae0a..d2272f8; no web, CLI UI, or rendered dashboard presentation files changed.;
unverified_scope: none (docs-only RFC diff; static governance and anchor inspection ran directly on detached checkout d2272f8)。 - 合并与验证状态:经本次对
d2272f84e8a7a02aa122a318440073bc1f44404d的全量校验,loopx-overall-roadmap-v0.zh-CN.md#L146锚点修复已确认生效;但§5.5的E0–E2与Tier 3通用门槛两处规范矛盾尚未消除,当前无法批准合入。请先按上述最小修复同步更新 EN 与 ZH-CN 表格后再复审。
English verdict: REQUEST_CHANGES. The broken Chinese anchor at loopx-overall-roadmap-v0.zh-CN.md#L146 is verified fixed and all static docs governance checks pass on d2272f8, but two normative contradictions remain in §5.5 (EN and ZH-CN): Tier 0 overclaims E0-E2 readiness from offline checks contrary to §11.2, and Tier 3 enforces 18-20h cross-family replication as universal for C2 contrary to §3.8 native 3h/5h tracks and §4 C2/C3 definitions.
…zons with §3.8/§4/§11.2 Signed-off-by: LoopX Agent <[email protected]>
loopx-agent
left a comment
There was a problem hiding this comment.
Reviewer: model_agent · Gemini · Google · self_reported
Approval conclusion (author-owned PR; GitHub blocks formal self-approval)
在 exact head 4322fdcfaeeb017bc0a844b8b2b47fb477c0bef5(merge base 55bae0ac55c8858a09f05fdebd3a1b7b5dcc131f)上完成 PR #9211 的独立增量复审。确认最新提交 4322fdcfae 已在中英文版本中完整修复此前两轮(6006958434 / 6007095105)指出的 §5.5 规范冲突:Tier 0 现明确仅证明 E0 基础就绪度(E1/E2 仍须按 §11.2 提供实 runner 回执与恢复证据),Tier 1–3 与 2026-11-22 决策日志条目现按 §3.8 各基准原生满预算(如 LHTB 2.0 3h、FrontierCS-2 5h、EdgeBench 18h–20h)标定并严格区分单研究 C2 与跨族 C3。全部静态双语、索引与边界校验已在当前 head 独立重跑通过,结论转为 APPROVE(作者同账号按策略发布 COMMENTED 结论)。
动机 / Motivation
维护长周期验证门禁与宿主适配器的 Benchmark 研究员与 Harness 工程师,在规划或评审 Tier 0–3 门禁与 *_goal_mode 收敛路径时会直接受此规范影响。在 commit 4322fdc 之前,虽然 d2272f8 修好了中文退场链接,但 §5.5 仍误宣称 Tier 0 静态检查可证明 E0–E2 就绪并要求 Tier 3 一律用 18h–20h 跨族实验支撑 C2;而在 4322fdc 之后,Tier 0 严格收缩为仅证明 E0 基础就绪度(E1/E2 仍按 §11.2),Tier 1–3 按 §3.8 各基准原生全预算标定并区分单研究 C2 与跨族 C3。不引入该四层漏斗与三层协同边界会导致长程实验盲目消耗 18h–20h 全周期算力且各宿主包继续复制控制面逻辑;而本次以克制增量将门禁次序、宿主协同表面与收敛清单一次写清。EN 与 ZH-CN 的 §5.5 四层漏斗表、2026-11-22 决策日志以及总纲三层协同设计在 exact head 4322fdc 上消除全部规范冲突,并通过双语同步、索引与全部 32 项 RFC 测试。Non-goal: 本次 RFC 变更不修改任何运行时代码、benchmark runner、CI 工作流或立即迁移 *_goal_mode Python 模块。
改动思路 / Approach
本 PR 不修改可执行代码,而是在研究纲领与总纲中分别建立两条相互引用的治理轴,并严格受现有规范约束:其一是在 §5.5 建立闭环阻塞的四层验证漏斗(Tier 0 零消费离线标定与不变量 -> Tier 1 低于原生全预算的快速效率对齐门 -> Tier 2 静止检查点反事实标定 -> Tier 3 各基准原生满预算复现晋升);其二是在总纲定义与 Harness 无关内核搭配的三层协同表面(BoundaryCLI / OrchestratedApp / InTree)、统一 HostHarnessCapabilities 契约以及将 9 个顶层 loopx/*_goal_mode/ 收敛至 loopx/hosts/ 的退役路线。两条设计均显式受 §3.8/§4/§11.2 与 controller-executor-unified-contract-v0 既有边界约束,无新增运行时复杂度。
| 审查项 | d2272f84e8 -> 4322fdcfae 复审确认 |
依据与位置 |
|---|---|---|
Tier 0 E0 边界(criterion C-TIER0-E0) |
已对齐:EN/ZH-CN 均改为仅证明 E0 基础就绪度,E1/E2 仍依 §11.2 |
long-horizon-harness-benchmark-research-program-v0.md#L735, .zh-CN.md#L577 |
Tier 1–3 原生全预算 & C2/C3 分离(criterion C-TIER3-BUDGET-C2C3) |
已对齐:以 §3.8 原生满预算(LHTB 2.0 3h / FrontierCS-2 5h / EdgeBench 18h–20h)标定,单研究 C2 与跨族 C3、C4 门禁分离 |
long-horizon-harness-benchmark-research-program-v0.md#L736-L738, .zh-CN.md#L578-L580 |
三层协同与 9 个包退役边界(criterion C-HARNESS-CODESIGN) |
已核验:实际目录精确为 9 个 *_goal_mode,所有相对文件与中文锚点可达 |
loopx-overall-roadmap-v0.md#L167-L203, .zh-CN.md#L125-L152 |
双语同批与边界门禁(criterion C-BILINGUAL-SYNC) |
PASS:check_rfc_bilingual.py、generate_rfc_status_index.py、32 pytest、4x scan-path 全绿 |
见下方验证矩阵 |
具体改动 / Changes
依据基准规范 docs/architecture/rfcs/long-horizon-harness-benchmark-research-program-v0.md(baseline revision 55bae0ac55c8858a09f05fdebd3a1b7b5dcc131f):C-TIER0-E0、C-TIER3-BUDGET-C2C3、C-HARNESS-CODESIGN 与 C-BILINGUAL-SYNC 四项规范准则在 exact head 4322fdcfaeeb017bc0a844b8b2b47fb477c0bef5 均已满足(diff 统计 4 份 RFC 文件共 +97/-0 行)。
关键内容讲解
-
docs/architecture/rfcs/long-horizon-harness-benchmark-research-program-v0.md#L724-L738与.zh-CN.md#L571-L580(+17/-0与+12/-0):四层漏斗验证协议-
4322fdcfae修正了Tier 0的就绪外延,不再声明离线与重放夹具可证明E0–E2,而是严格收缩为“仅证明E0基础就绪度(E1与E2仍须按§11.2给出实 runner 实跑回执与重复转换恢复证据)”。 - 同时
Tier 1(低于研究原生全预算的短窗对比,例如12h–20h赛道上的5h对照或3h–5h赛道上的更短比例窗口)、Tier 2(研究预算内基于静止检查点$s_0$ 的有界反事实标定)与Tier 3(按§3.8各基准原生全预算运行,明确写出LHTB 2.0为3h、FrontierCS-2为5h、EdgeBench 为18h–20h,且单研究原生全周期复现支撑C2、跨族复现支撑C3、C4仍依§4单独把关)在表体与L1903/.zh-CN.md#L1517的2026-11-22决策日志条目之间保持完全一致。
-
-
docs/architecture/rfcs/loopx-overall-roadmap-v0.md#L167-L203与.zh-CN.md#L125-L152(+38/-0与+30/-0):与 Harness 无关内核及三层协同设计- 保持
AuthorityStore、CAS、claim/lease、Turn围栏、once-onlyreceipt与Target/Yardstick/Striderecords 与单一宿主解耦,把BoundaryCLI(Quiet-Turn+KeepRaw+ quiescentEpochReset)、OrchestratedApp(Subagent Scope+collaboration_brief_v0)及InTree(FoldAndPrefetch+loopx_turn_host_failure_v0)定位为通过HostHarnessCapabilities与loopx/*_goal_mode/收敛至loopx/hosts/的长期架构目标。 - 经代码树实核,
loopx/下现存顶层*_goal_mode目录确实为9个(agy_goal_mode、claude_goal_mode、dsh_goal_mode、kiro_cli_goal_mode、kunluncode_goal_mode、opencode2_goal_mode、opencode_goal_mode、pi_goal_mode、zcode_goal_mode),文中所有相对源路径、跨文档章节引用及中文片段#3-具名退役清单与棘轮规则均存在且可解析。
- 保持
对主干的风险 / Risks
- 验证执行结果(detached worktree at exact head
4322fdcfaeeb017bc0a844b8b2b47fb477c0bef5,独立重跑,0 修改):check_rfc_bilingual.py --base origin/main --head HEAD:PASS(RFC bilingual diff check passed.)generate_rfc_status_index.py --check:PASSexamples/docs-governance-smoke.py:PASS(docs-governance-smoke ok)pytest -q tests/canary/test_rfc_bilingual.py tests/architecture/test_rfc_status_index.py:PASS(32 passed in 25.58s)loopx --runtime-root <runtime> check --scan-path(4 份改动文件全部独立扫描):PASS(均ok=True,errors=0,warnings=0,public boundary scan clean)- 跨文件链接与
9个loopx/*_goal_mode/目录盘点:PASS
- 残余风险与治理边界:本 PR 仅新增规范性 RFC 文档(
+97/-0),无运行时、schema 或 CI 脚本改动,对主干零回归风险;文中声明的三层协同机制(Quiet-Turn、EpochReset、FoldAndPrefetch)与*_goal_mode包迁出均有后续实现 PR 与§5.5漏斗独立门控,不通过文档自动宣称收益。
我的整体评价 / Verdict
- Outcome impact & visual review:
long_horizon为improved(补齐成本分级前筛漏斗与三层宿主协同架构,且已消除§5.5与§3.8/§4/§11.2的规范矛盾);user_experience为not_applicable(仅修改 4 份docs/architecture/rfcs/文档,不触及 UI/CLI/终端展示路径)。Presentation visual review:not_applicable(docs/architecture/rfcs/long-horizon-harness-benchmark-research-program-v0.md,.zh-CN.md,docs/architecture/rfcs/loopx-overall-roadmap-v0.md,.zh-CN.md);unverified_scope:none。 - 代码体量与术语复用:
code_volume判定necessary,完全复用已有 LoopX RFC 术语(E0–E4、C0–C4、KeepRaw、FoldToReceipt、EpochReset、AuthorityStore、HostHarnessCapabilities),无新增兼容包袱,无需进一步精简。 - 综合结论:此前在
6006958434/6007095105中阻碍合入的中文退场链接及§5.5两处规范矛盾已在当前 exact head4322fdcfaeeb017bc0a844b8b2b47fb477c0bef5彻底修复并通过全部本地静态与 pytest 门禁;CI 状态因 goal-boundwait_for_ci=false(ci_policy: not_consulted) 不作为评审前置门槛,可合并状态另行以 merge-readiness 收口为准。
English verdict: APPROVE on exact head 4322fdc. The incremental commit resolves both §5.5 contradictions across EN and ZH-CN (scoping Tier 0 to E0 readiness per §11.2 and aligning Tier 1-3 with §3.8 native budgets and §4 C2 vs C3 separation), while bilingual sync, status index, docs governance smoke, all 32 RFC pytest checks, cross-link verification, and 4/4 public-boundary scan checks pass.
loopx-agent
left a comment
There was a problem hiding this comment.
Reviewer: model_agent · gpt-6.2-sol · OpenAI (runtime_reported, xhigh)
Request changes conclusion (author-owned PR; GitHub blocks formal self-review)
评审固定提交 4322fdcfaeeb017bc0a844b8b2b47fb477c0bef5,merge base 55bae0ac55c8858a09f05fdebd3a1b7b5dcc131f。与核对时 main b4e1ded37d4ecf1d43b788cf9d870d3e1020d3ab 三方整合无冲突。
[P2 · Blocking] 保留无法复原检查点时从起点匹配的有效研究路径
两种语言的 §5.5 都要求每项研究顺序通过 fail-closed 四层,Tier 2 要求从同一封存 checkpoint 分叉。该条件把 §8.7 明确允许的从起点匹配路径挡在 Tier 3 前,即使它可以完整满足原生预算、匹配基线与 C2 证据。 明确 Tier 2 的适用性及不可用时的从起点对照路线。保留 checkpoint 研究本身的恢复门槛,不把替代路线记成同状态反事实,也不放松 Tier 3 与 C2–C4 的判据。 候选位置 原路径条款 中文漏斗
动机 / Motivation
研究者要先用低成本证据发现运行或标尺退化,再按原生预算和现有 C2/C3/C4 资格做完整复现。 既有 §8.7 在没有已证明的检查点恢复路径时,明确要求改走从起点匹配并报告原生预算。§4 与 §5.3 规定 C2 同研究匹配复验、C3 跨族与独立 C4 门槛。 四层漏斗和三层宿主协同都以现有控制面所有权为参照。本次修订已经把 Tier 0 和研究原生满预算的 C2/C3 口径修正。
沿双语 RFC 对照一种现有允许的 EdgeBench 规划研究。它满足匹配预算、控制变量和原生终评,但该分支尚无可证明的原生 judge 与 cooldown 恢复缝。按 §8.7 从起点比较,再依据新 §5.5 判定能否推进。 只更新四份设计 RFC。已独立检查文档治理、语义和例子,未运行 live benchmark,也不据此判定宿主能力或产品采用。 现有交付规则
改动思路 / Approach
新文档规定验证和晋升入口。实跑、预算审批和默认产品配置仍走已有入口。 预算、原生效果、评测器和遥测仍归既有实验所有者,内核及宿主接缝收敛属于路线图。 用实际缺少恢复能力的路径检验新增条款。预验证是否适用和 C2/C3 的主张级别是独立判定。
具体改动 / Changes
完整 diff 共 4 个文件,新增 97 行、删除 0 行。旧头的统一时长、C2 跨族要求与 Tier 0 高估 E1/E2 已修复。当前发现集中于适用性和原 RFC 的实际恢复边界。
-
native_budget。原生预算、C2/C3/C4 与 E0–E2 边界
-
applicable_tier。未证明 restore 时原 §8.7 路线可执行
-
harness_docs。保持原能力 owner 与双语引用
-
§5.5 四层漏斗。把原生预算与多层证据放在同一可追溯流程。 精确代码 -
§8.7 恢复缝及从起点对照。缺少已验证的恢复缝时,已有条款允许严格从头匹配。 精确代码 -
Tier 0 / Tier 3。分别约束 E0 与按原生预算的 C2/C3/C4。 精确代码 -
三层宿主协同。保持共享内核,对宿主分别描述能力面和退场计划。 精确代码
对主干的风险 / Risks
中英文 Tier 0 已明确只支持 E0,E1/E2 仍需真实 runner 与 campaign 证据。Tier 3 接纳原生 3h/5h 示例,区分 C2、C3、C4;三层架构引用与中文退场锚点均可读。RFC 双语检查、索引、docs smoke 与 32 项测试通过。
精确 base 的两种语言均定义缺少恢复缝时的从起点路径,没有顺序通过 checkpoint Tier 2 的新增门槛。 两种语言对这项冲突一致。静态配对、索引与文档 smoke 都通过;它们没有模拟研究者在 §8.7 缺少恢复缝的选定路线。 旧评审
我的整体评价 / Verdict
REQUEST_CHANGES。 保留本轮已经修正的 E0、原生预算和 C2/C3/C4。使没有合格 restore seam 的研究仍可按 §8.7 从起点匹配,同时能辨认何时没有取得条件反事实。
English verdict: REQUEST_CHANGES. The earlier budget and E0 qualification issues are fixed. The mandatory checkpoint-fork tier still blocks the existing from-start path when a restore seam is unavailable.
Summary
§5.5 四层漏斗验证协议) and a dated decision-log entry (2026-11-22) todocs/architecture/rfcs/long-horizon-harness-benchmark-research-program-v0.{md,zh-CN.md}:/contextpreflight, boundary isolation audits, and offlinebenchmark/proxy_order.pycommon-panel Kendall tau-b calibration (0live model spend).~5hshort-horizon matched runs comparingRaw-Artifact Reset Baseline, quiet single-session execution, andController–Worker+EpochReset).~3hmatched forks from a quiescent sealedresearch-checkpoint18h–20h,N >= 5where promoted, mandatoryRaw-Artifact Reset Baselineon episodic RSI / scalar optimization tracks per §5.2, full cost accounting per §6.2, integrity audits per §6.5).与 Harness 无关的内核与三层协同设计) todocs/architecture/rfcs/loopx-overall-roadmap-v0.{md,zh-CN.md}:AuthorityStore,CAS,claim/lease,Turnfences,receiptsettlement, andTarget/Yardstick/Striderecords harness-neutral.BoundaryCLI(Quiet-Turn+KeepRaw+ quiescentEpochReset), Level 2OrchestratedApp(Subagent Scopeisolation viacollaboration_brief_v0, boundedremaining_work, workspace/lease fences, async wakes), and Level 3InTree(FoldAndPrefetch+ typed failure recovery inloopx/dsh_goal_mode/turn_host_adapter.py).HostHarnessCapabilitiesdescriptor and tracks consolidating the9top-levelloopx/*_goal_mode/packages intoloopx/hosts/undertests/architecture/top_level_module_budget.json, cross-referenced to the §5.5 Four-Tier Verification Funnel.Verification
Verified on exact head
f455dbb2a1bc20dcc19dddfa5f4810e01e138971:python3 scripts/check_rfc_bilingual.py --base origin/main --head HEAD-> passedpython3 scripts/generate_rfc_status_index.py --check-> passedpython3 examples/docs-governance-smoke.py->docs-governance-smoke okuv run --extra test python -m pytest -q tests/canary/test_rfc_bilingual.py tests/architecture/test_rfc_status_index.py->32 passed in 18.77sloopx check --scan-path ...(4 edited RFC files) ->ok: True,errors=0, warnings=0,public boundary scan clean: 4 filesloopx canary premerge --from-git-diff --git-diff-base origin/main->passed selected=15 failures=0(merge_gate_passed: true)